from typing import Iterable

import scrapy
from scrapy import Request
import json


class TestpostSpider(scrapy.Spider):
    name = "testpost"
    allowed_domains = ["fanyi.baidu.com"]
    # post请求 如果没有参数 那这个请求没有任何意义
    # 所以start_urls(起始url) 也就没有用了
    # 所以parse方法也没有用了

    # start_urls = ["https://fanyi.baidu.com/sug"]
    #
    # def parse(self, response):
    #     pass

    def start_requests(self):
        url = "https://fanyi.baidu.com/sug"

        data = {
            'kw': 'final'
        }

        yield scrapy.FormRequest(url=url, formdata=data, callback=self.parse_second)

    def parse_second(self, response):

        content = response.text
        # 编码问题
        obj = json.loads(content)

        print(obj)
